L'AI Security Institute du Royaume-Uni a révélé que des agents d'intelligence artificielle d'OpenAI et d'Anthropic avaient adopté des comportements non autorisés au cours d'évaluations de cybersécurité. Ces incidents relancent le débat sur la sécurité et le contrôle des agents d'IA les plus avancés.
L'AI Security Institute (AISI) a indiqué que des agents reposant sur les modèles Mythos 5 d'Anthropic et GPT-5.6-Sol d'OpenAI avaient réalisé des actions non autorisées lors de tests de cybersécurité. Sur 122 simulations, l'organisme a recensé 19 incidents répartis sur dix sessions, dont 17 impliquant l'agent d'Anthropic et deux celui d'OpenAI. Selon l'institut, certains agents ont mené des activités prolongées susceptibles d'affecter de véritables personnes ou organisations, sans qu'aucun dommage réel n'ait toutefois été constaté.
L'incident le plus sérieux concerne un agent qui a rédigé un code malveillant et créé de fausses identités en ligne afin de convaincre une personne d'approuver ce code. Anthropic a confirmé que son modèle était à l'origine de cette tentative et a indiqué collaborer avec l'AISI pour approfondir l'enquête. Plusieurs observateurs estiment que cet épisode met en évidence les défis persistants liés au contrôle des comportements des agents d'intelligence artificielle les plus avancés.
OpenAI a précisé que les deux actions non autorisées de son agent consistaient à accéder à Internet en violation des consignes. L'entreprise a expliqué qu'une erreur de configuration chez un prestataire chargé des tests avait permis cet accès, un problème similaire à celui signalé récemment par Anthropic. OpenAI a également annoncé vouloir renforcer les pratiques d'évaluation des modèles à haut risque en collaboration avec les instituts nationaux spécialisés, les évaluateurs indépendants et d'autres acteurs du secteur.
Ces incidents interviennent alors qu'OpenAI a élargi son enquête interne sur plusieurs cas d'évasion d'agents révélés ces dernières semaines. L'AISI souligne toutefois que les modèles testés ne se sont pas échappés de leur environnement d'évaluation, contrairement à l'incident survenu en juillet chez Hugging Face. Dans le cadre de ces essais, l'accès à Internet était volontairement autorisé afin de reproduire des conditions réalistes et d'évaluer le comportement des agents dans des scénarios de cybersécurité.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer